GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?
GameCraft-Bench:真实引擎中端到端游戏可玩性基准
🧭 游戏生成基准 · Agent 评估
The Chinese University of Hong Kong, Shenzhen · Shenzhen Loop Area Institute · Hunyuan Team, Tencent · USTB · DualverseAI
提出基于交互验证的游戏生成基准,评估编码智能体在 Godot 引擎中端到端构建可玩游戏的能力
📌 工作参考价值(4 点)
- 评估框架中“引擎接地”概念可迁移至推荐或对话 Agent:确保模型输出能在真实业务环境中执行并产生可观测结果,而非仅产生文本。
- “产物完整性”指标提醒生成式推荐系统需评估整个推荐列表或页面的连贯性与内容充足性,避免只关注单点准确率。
- 多模态评审(rubric-guided multimodal judging)可借鉴用于对推荐理由、广告创意等富媒体输出进行自动化质量评估。
- 回放演示的交互验证思路可用于对话推荐 Agent 的端到端评测,关注完整对话流的可玩性而非轮次级评分。